Future of Life Institute(FLI)がGPT-4以降の学習を６ヶ月間控えることを求める公開書簡
public.icon
ktakahashi74 Future of Life Institute(FLI)がGPT4以降の学習を６ヶ月間控えることを求める公開書簡を出した。私にも署名依頼が来たが、その時点ではエンバーゴがありすぐにはツイート出来なかった。メディア報道が始まったので少し解説する。(1/13) ktakahashi74 FLIは人類の存在論的リスク(存亡に関わるリスク)を低減するためにSkype創業者のヤン・タリンや理論物理学者のマックス・テグマークらが2014年に設立したNPOで、気候変動やバイオテク、核兵器問題なども扱うが、中心的な課題は高度な汎用人工知能(AGI)の危険性だ。(2/13) ktakahashi74 2015年に多数の専門家を招いた「アシロマ会議」で「AIに関する公開書簡」を発表している。自動運転などの短期的課題も対象だが、「将来的なAIの能力向上の想定に上限を設けるべきではない」という前提のもと、人間の能力を超える「人工超知能(ASI)」のリスクも真剣に議論された。(3/13) ktakahashi74 続いて「ベネフィシャルAI」会議シリーズが各国で開かれ、2017年の東京の回には私も参加した。直近では、2023年3月に「AIアライメント」(AGI/ASI含むAIの制御方法やそのための技術体系を扱う新興の研究分野)の国際会議が東京で立ち上がり、私はこちらにも参加している。(4/13) ktakahashi74 実は政策的な議論は日本先行だ。2016年以前から総務省情報通信政策研究所で「AI開発原則」が議論された(当時はAGIなど非現実的との声もあったが私も含む研究者側の強い意見で明記された)。その後内閣府、G7サミットを経て公開書簡でも言及のあるOECDの基準につながっている。(5/13) ktakahashi74 さて、本題の公開書簡だが「GPT4より強力なAI」の「学習」を「６ヶ月間」、一般に検証可能な形で止めることを全てのAIラボに求める内容だ。AI開発一般の停止要請ではない。開発者も全貌を理解できない状況で、創発的能力を持つ巨大なブラックボックスの開発競争激化への警鐘だ。(6/13) ktakahashi74 今回の動きが、どうしてこのタイミングなのか、そしてどうしてGPT4がベンチマークとなっているのかの背景の理解には、次に述べる2本の論文が助けになるだろう。(7/13) ktakahashi74 まず、長期的課題として、3月22日にOpenAIが公開した論文では、GPT4が、1994年に52人の心理学者が設定した一般知能テストで想定外によい成績を収め、AGIに至る能力獲得の兆しが見られることを報告している。(8/13)arxiv.org Sparks of Artificial General Intelligence: Early experiments with GPT-4
Artificial intelligence (AI) researchers have been developing and refining large language models (LLMs) that exhibit remarkable capabilities across a variety of domains and tasks, challenging our...
https://pbs.twimg.com/card_img/1639743106764640256/etS9gerP?format=jpg&name=360x360#.png
ktakahashi74 AGIが人間と同じくらい柔軟な知能を持つとすれば、自己改良も可能と想定すべきだ。制御可能性も含め、原子力と同等かそれ以上の大きなベネフィットとリスクを持つだろう。興味のある方はテグマークの 「Life 3.0」やボストロムの「スーパーインテリジェンス」などを参照。(9/13) ktakahashi74 LLMの出現で短中期的課題も更新された。OpenAIとペンシルバニア大の共同研究で米国労働市場に対する影響を分析した結果、LLMが経済学で言う汎用目的技術(GPT)となり過去の産業革命における原動機や電気に匹敵するような根本的な産業構造変化をもたらす可能性が指摘された。(10/13)… Show more ktakahashi74 これは、2017年にオックスフォード大のFrey & Osbourneが出した、AIが米国労働市場の約47%に影響をするという見積もりを更新するものだ。この時は、比較的低スキルな職業が影響を受けるという予測だったが、LLMでは専門職含め影響がより広範囲に及ぶとされる。(11/13) ktakahashi74 公開書簡では、各国の政策当局にこのような新しく高インパクトな技術体系に対応出来る規制や、安全で信頼出来るAI研究のための資金提供の充実などを求めている。(12/13) さて私はといえば、数日間考えたり他の研究者とも意見交換したうえで、署名した。その理由は私見も含むので、次の一連のツイートで述べる。 (13/13)
eartois ある日突然、市場に魔法使いが現れて圧倒的な生産性を実現した。するとマグルの全産業は壊滅的なダメージを受けた。ここでマグルの代表が魔法族に対して「ちょっとたんま！」と懇願する。それでも魔法族は市場を支配する。マグルは困窮する。最後に政治も教育も魔法使いが中心となり変わっていった。